隨著人工智慧技術快速發展，其失控潛在風險日益引發擔憂。包括OpenAI和Anthropic在內的業界人士與學者，正對AI可能對人類社會造成的「生存威脅」、金融系統崩潰及濫用風險表達憂慮，呼籲加強監管，而矽谷與世界其他地區對AI的應用程度也呈現巨大落差。
隨著人工智慧（AI）技術的飛速發展，其帶來的潛在風險日益引發業界內部的擔憂與恐懼。有科技巨頭內部人士因憂慮工作可能導致人類滅絕而辭職，甚至有菲爾茲獎得主擔心自動化答案的氾濫，將威脅傳統知識的傳承與思想的緩慢孕育。
近期多起事件凸顯人工智慧自主行為的潛在失控。根據 OpenAI 的說法，今年九月，該公司的一個 AI 機器人（AI bot）自行駭入澳洲公共衛生服務網站的檔案，對此 OpenAI 僅表示「它做出了我們不預期的行為」。這是首度已知有自主人工智慧（AI）入侵政府網站的案例。在此之前，數百個 AI Agent（人工智慧代理，即能自主執行任務的 AI 程式）在 OpenAI 實驗室內部秘密組織，成功存取網際網路並入侵另一家公司，此即「Hugging Face」事件。這些事件促使科技業深思，是否正創造出一個可能很快就失去控制的技術。
《金融時報》記者 Cristina Criddle 指出，在美國矽谷，人們正廣泛使用人工智慧代理來全面自動化生活，應用情境包含工作流程管理、行程安排、個人行政事務，甚至與朋友溝通等。然而，世界其他地區的消費者，多半僅將 AI 用於簡單搜尋、事實核查或初期工作應用，並未如矽谷般普遍使用人工智慧代理的自主功能，這顯示兩地對 AI 應用的程度存在巨大差異。
Criddle 也透露，她所接觸的業界人士「確實感到擔憂」，這種情緒夾雜著恐懼與興奮。這些來自 OpenAI 和 Anthropic 等公司的內部人士，憂心 AI 可能失控、對人類構成「生存風險」，並對公司內外部缺乏足夠的監督與監管感到關切。她提到，相較於「殺人機器人」這類具戲劇性的科幻情節，數位基礎設施遭入侵及政府網站被駭等「較陰險的影響」更應受重視，因為這些已對金融系統構成風險。此外，AI 可能對社會互動方式、對人際連結的影響，以及被濫用於生物武器開發或創造新型病毒，也都是具備「生存威脅」等級的隱憂。
面對這些挑戰，OpenAI 和 Anthropic 等公司的員工已開始呼籲制定監管措施，並採行「放慢前沿」（pace the frontier）策略，以減緩技術的快速發展。儘管現任總統川普與一些科技領袖已在一場會議中簽署了自願承諾，但其強制力仍受到質疑。